Policy and World Modeling Co-Training for Language Agents
策略与世界模型共训练：让语言智能体在 RL 中学会预测动作后果
🧭 语言智能体 · 世界模型与强化学习共训练 ★ 深度解读
Southern University of Science and Technology · Hong Kong University of Science and Technology · Hong Kong University of Science and Technology (Guangzhou) · Hong Kong Polytechnic University · LIGHTSPEED
将 on-policy RL 的 rollout 同时用作世界模型的下一观测监督，通过动作熵过滤、裁剪 MAE 损失和奖励自适应权重实现稳定共训练，无需额外模型或推理开销
📌 工作参考价值（4 点）
- 复用现有 rollout 作为世界模型监督：在电商对话 Agent 或推荐交互 Agent 中，用户与系统的多轮交互（如搜索-浏览-下单）天然包含状态转移样本，可将每步动作对应的下一页面内容作为预测目标，无需额外构造模拟器。
- 动作熵过滤冗余样本：只保留策略熵较高的决策点（如用户提问模糊、候选商品多）的转移样本进行世界建模，避免大量确定性动作（如翻页）造成的低效训练，可显著提升样本效率。
- 用裁剪 MAE 替代 CE 应对噪声观测：在电商页面等富含随机 ID、产品名的文本环境中，MAE 损失能抑制不可预测 token 的梯度，配合置信度裁剪（pt,i >ρ 的 token 不训练）可防止过拟合表面形式，使世界模型抓住核心动态。
- 奖励自适应权重平衡多任务：根据 rollout 组成败调整世界模型 loss 权重，低成功率组强化环境理解，高成功率组侧重策略优化，这种简单启发式可直接用于客服 Agent、推荐对话 Agent 的多目标 RL 训练。